对抗OpenAI！马斯克开源Grok，参数量全球最大

Grok-1是3140亿参数的混合专家模型。

文丨AI星球 ID：ai_xingqiu

编辑丨邵延港

当地时间3月17日，马斯克旗下人工智能公司xAI宣布开源大模型Grok-1，遵循Apache 2.0协议开放模型权重和架构。因此，用户可以自由使用、修改和分发软件。

据官网信息，Grok-1是3140亿参数的混合专家模型，是“迄今为止全球参数量最大的开源大语言模型”。

Grok-1 是xAI 使用 JAX 和 Rust 之上的自定义训练堆栈从头开始训练；314B 参数 Mixture-of-Experts 模型，其中 25% 的权重在给定令牌上处于活动状态；此外，Grok-1这是 2023 年 10 月结束的 Grok-1 预训练阶段的原始基础模型检查点。这意味着该模型不会针对任何特定应用（例如对话）进行微调。

对于Grok-1的开源，马斯克在3月11日就曾在社交平台表示xAI将开放Grok的源代码，公众将可免费使用该公司大模型技术背后的代码。

马斯克如约将Grok-1开源，与此同时，马斯克还在因OpenAI的开源问题，起诉OpenAI及其董事会成员。OpenAI 利用 ChatGPT 的官方账号与马斯克进行了互动：你干了我干的事。而马斯克回应称：告诉我们更多关于 OpenAI 的 Open 部分。

开源问题是马斯克与OpenAI争论的核心。据悉，3月1日，马斯克一份46页的诉状被公开，马斯克指控便是OpenAI偏离了公司成立时“为了人类福祉而非私人商业利益”的协议，也违背了“技术开源”的承诺，完全成为了“受控于微软的闭源子公司”。

对于马斯克的指控，3月6日上午10点，OpenAI正式做出回应，在官网发布一篇长博客，称自己始终坚持使命，并针对马斯克的主张一一进行回复。

对于“违背创始协议转向盈利”的指控，OpenAI表示，开发AGI所需的资源超乎他们想象，在最初创办OpenAI时这个数字是1亿美元，而到了2017年则是每年数十亿，金钱的压力迫使他们“为通往AGI规划一条更为合理的路径”，也就是转向盈利——在这一点上，马斯克与他们在2017年前后达成了一致，决定下一步的任务是创建一个营利性实体，但我们无法与 Elon 就营利性条款达成一致。

对于开源，OpenAI表示，我们提供对当今最强大的 AI 的广泛访问，包括数亿人每天使用的免费版本。这个任务并不意味着开源 AGI。正如 Ilya 告诉马斯克的那样：“随着我们越来越接近构建 AI，开始变得不那么开放是有意义的。openAI 的开放意味着每个人都应该从 AI 构建后的成果中受益，但不分享科学是完全可以的......“，马斯克回答说：”是的”。

如今，离开OpenAI的马斯克，在2023年7月份成立xAI，成立之初就被称作“OpenAI对手”。xAI的宗旨是“了解宇宙的真实本质”。去年11月4日， xAI团队发布了首个AI大模型产品Grok。

马斯克将“迄今为止全球参数量最大的大语言模型” 开源，有准备讽刺了OpenAI一下，在AI社区引发了激烈讨论，坚持开源的马斯克，走上了与OpenAI的对立之路，不过根据xAI公布的数据，在GSM8K、HumanEval和MMLU等一系列基准测试中，Grok-1的表现超过了Llama-2-70B和GPT-3.5，但跟GPT-4还有差距。

（首图来源：xAI官网截图）

你“在看”我吗？